未来が固定された道ではなく、輝く可能性の網目のような世界を想像してみてください。 ランダム性のダイナミクス 確率的な進化（システムが状態間をどのように移行するか）と、その遷移に内在する「新しさ」や驚きの定量的評価とのギャップを埋めることが、まさにそれです。
1. 状態遷移の構造
天気の論理を考えましょう。今日の雨が明日に影響を与える唯一の要因であると仮定すれば、マルコフ力学の領域に入ります。これは 例2aで、
明日の雨が、過去の天気条件によって決まるのは、今日が雨かどうかのみであると仮定します。今日雨ならば、明日も雨になる確率は $\alpha$ であり、今日雨でない場合、明日雨になる確率は $\beta$ です。
これにより、遷移行列 $P$ が作られ、 チャープマン・コルモゴロフ恒等式で、
$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$
2. 到着のリズム
ランダム性とは どこへ行くか だけではなく いつ イベントが発生するタイミングにも関係します。ポアソン過程では、地震や放射性崩壊などの離散的な到着を時間とともに追跡します。
- 到着間隔： ポアソン過程では、$T_1$ を最初のイベントが発生する時刻とし、$n > 1$ に対して、第$(n-1)$回と第$n$回のイベントの間の経過時間を $T_n$ とします。
- 定常性： 列 $\{T_n, n=1, 2, \ldots\}$ は、率 $\lambda$ によって決定される独立な指数分布変数から成り立っています。
3. 情報とは驚きの減少
情報理論はクラウド・シャノンによって提唱され、不確実性を定量化します。それは美しい代数的基盤に基づいており、特に 公理4で、
公理4：$0 < p \le 1, 0 < q \le 1$ のとき、$S(pq) = S(p) + S(q)$
この公理は、2つの独立した事象の驚きは、それぞれの驚きの和に等しいことを示唆しており、直接的に シャノンエントロピーで、
$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$
🎯 核心的な洞察
ダイナミクスはゲームのルール（遷移確率）を定めますが、エントロピーは実際にゲームをプレイすることでどれだけ学ぶか（情報量）を測ります。もし私たちの天気モデルで $\alpha=1$ かつ $\beta=1$ であれば、システムは確定的となり、エントロピーはゼロになります。なぜなら「ニュース」には新しい情報が含まれないからです。